Linear Regression

线性回归(Linear Regression)基本上可以说是机器学习中最简单的模型了,但是实际上其地位很重要(计算简单、效果不错,在很多其他算法中也可以看到用其其作为一部分)。机器学习所针对的问题有两种:一种是回归,一种是分类。回归是解决连续数据的预测问题,而分类是解决离散数据的预测问题。线性回归是一个典型的回归问题。

给定数据集$D=\left\{\left(\boldsymbol{x}_{1}, y_{1}\right),\left(\boldsymbol{x}_{2}, y_{2}\right), \ldots,\left(\boldsymbol{x}_{m}, y_{m}\right)\right\}$ ,线性回归试图学得一个线性模型以尽可能准确地预测实值输出标记,即:

其中

如何确定 ω 和 b 呢?显然?关键在于如何衡量 f(x) 与 u 之间的差别, 均方误差是回归任务中最常用的性能度量,因此我们可试图让均方误差最小化,即

令$E_{\hat{\boldsymbol{w}}}=(\boldsymbol{y}-\mathbf{X} \hat{\boldsymbol{w}})^{\mathrm{T}}(\boldsymbol{y}-\mathbf{X} \hat{\boldsymbol{w}})$ 对$\hat{\boldsymbol{w}}$求导得到:

令上式为零可得最优解的闭式解:

Reference

[1] https://study.163.com/course/courseMain.htm?courseId=1004570029
[2] https://en.wikipedia.org/wiki/Matrix_calculus
[3] http://mezeylab.cb.bscb.cornell.edu/labmembers/documents/supplement%205%20-%20multiple%20regression.pdf
[4] https://blog.csdn.net/shouhuxianjian/article/details/46669365
[5] https://blog.csdn.net/uncle_gy/article/details/78879131